Yann LeCun
https://gyazo.com/1028f44e8b953f1be073c8e69598f6b5
For conceptual and engineering breakthroughs that have made deep neural networks a critical component of computing.
Convolutional neural networks: In the 1980s, LeCun developed convolutional neural networks, a foundational principle in the field, which, among other advantages, have been essential in making deep learning more efficient. In the late 1980s, while working at the University of Toronto and Bell Labs, LeCun was the first to train a convolutional neural network system on images of handwritten digits. Today, convolutional neural networks are an industry standard in computer vision, as well as in speech recognition, speech synthesis, image synthesis, and natural language processing. They are used in a wide variety of applications, including autonomous driving, medical image analysis, voice-activated assistants, and information filtering.
DeepL.icon畳み込みニューラルネットワーク1980年代、LeCunはこの分野の基礎原理である畳み込みニューラルネットワークを開発し、他の利点も含めて、ディープラーニングの効率化に不可欠な存在となりました。1980年代後半、トロント大学とベル研究所に在籍していたLeCunは、手書きの数字の画像で畳み込みニューラルネットワークシステムを訓練した最初の人物です。現在、畳み込みニューラルネットワークは、コンピュータビジョンだけでなく、音声認識、音声合成、画像合成、自然言語処理などの分野でも業界標準となっています。自律走行、医療画像解析、音声アシスタント、情報フィルタリングなど、さまざまな用途で利用されている。
Improving backpropagation algorithms: LeCun proposed an early version of the backpropagation algorithm (backprop), and gave a clean derivation of it based on variational principles. His work to speed up backpropagation algorithms included describing two simple methods to accelerate learning time. DeepL.iconLeCunはバックプロパゲーションアルゴリズム（backprop）の初期バージョンを提案し、変分原理に基づいてそのきれいな導出を与えた。バックプロパゲーションアルゴリズムを高速化するための彼の研究には、学習時間を短縮する2つの簡単な方法が含まれています。 Broadening the vision of neural networks: LeCun is also credited with developing a broader vision for neural networks as a computational model for a wide range of tasks, introducing in early work a number of concepts now fundamental in AI. For example, in the context of recognizing images, he studied how hierarchical feature representation can be learned in neural networks—a concept that is now routinely used in many recognition tasks. Together with Léon Bottou, he proposed the idea, used in every modern deep learning software, that learning systems can be built as complex networks of modules where backpropagation is performed through automatic differentiation. They also proposed deep learning architectures that can manipulate structured data, such as graphs. DeepL.iconニューラルネットワークの視野を広げるレクンは、幅広いタスクに対応する計算モデルとして、ニューラルネットワークの幅広いビジョンを構築したことでも知られ、現在AIで基本となっている多くの概念を初期の研究で紹介しています。
例えば、画像認識の文脈では、階層的な特徴表現をニューラルネットワークでどのように学習させることができるかを研究し、現在では多くの認識タスクで日常的に使用されている概念です。
また、Léon Bottouと共同で、最新のディープラーニングソフトウェアに採用されている、学習システムをモジュールの複雑なネットワークとして構築し、自動微分によってバックプロパゲーションを行うというアイデアを提案した。また、グラフのような構造化されたデータを操作できる深層学習アーキテクチャを提案した。 LeCun attributes his longstanding interest in machine intelligence to seeing the murderous mainframe HAL, whom he encountered as a young boy in the movie 2001. He began independent research on machine learning as an undergraduate, making it the centerpiece of his Ph.D. work at the Sorbonne Université (then called Université Pierre et Marie Curie). LeCun’s research closely paralleled discoveries made independently by his co-awardee Geoffrey Hinton. Like Hinton he had been drawn to the then-unfashionable neural network approach to artificial intelligence, and like Hinton he discovered the well-publicized limitations of simple neural networks could be overcome with what was later called the “back-propagation” algorithm able to efficiently train “hidden” neurons in intermediate layers between the input and output nodes. DeepL.iconルクンは、少年時代に映画「2001」で出会った殺人メインフレーム「HAL」を見て、機械知能に長い間興味を持ったという。学部時代に機械学習の自主研究を始め、ソルボンヌ大学（当時はピエール・エ・マリー・キュリー大学）で博士号を取得した際も、機械学習の研究を中心に据えた。ルクンの研究は、共同受賞者のジェフリー・ヒントンが独自に発見したものと密接に関連しています。
ヒントンと同様、ルクンは、当時はまだ一般的ではなかった人工知能へのニューラルネットワークのアプローチに惹かれ、ヒントンと同様、単純なニューラルネットワークのよく知られた限界を、後に「バックプロパゲーション」と呼ばれる、入力と出力ノード間の中間層で「隠れ」ニューロンを効率的に訓練するアルゴリズムによって克服できることを発見しました。
単純なニューラルネットワークのよく知られた限界とはこれのこと
1960年代に第一次のニューラルネットワークブームを巻き起こしたが、1969年に人工知能（AI）学者マービン・ミンスキーMarvin Minsky（1927―2016）らによって特徴空間（たとえば身長や体重といった特徴量を軸とする多次元の空間）で線形分離可能なもの（特徴空間を平面で分割できるもの）しか学習できないことが理論的に証明されたことによって下火となった。 しかし、1980年代に中間層を導入した多層パーセプトロンが実現することにより、この学習限界が取り除かれ、理論的にはすべての概念が学習可能となった